- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习、深度学习
Decision stump、Bootstraping、bagging、boosting、Random Forest、Gradient Boosting
1）首先来看看 Decision stump https://en.wikipedia.org/wiki/Decision_stump A decision stump is a machine learning model consisting of a one-level decision tree.[1] That is, it is a decision tree with one internal A decision stump makes a prediction based on the value of just a single input feature. decision stump 只有一个 internal node（root） 其他的就是 terminal nodes (its leaves) ? Decision stumps are often[6] used as components (called “weak learners” or “base learners”) in machine
1.3K60发布于 2018-01-03 - 来自专栏后台技术底层理解
decision tree
什么是decision tree 决策树是一种基于监督的分类问题，主要将问题的条件构造为树的结构，依据判断划分数据集.decision tree 是一个流程图的树结构，其中，每一个内部结点表示一个属性上的测试
57520发布于 2020-08-04 - 来自专栏大模型系列
机器学习算法：弱分类器中决策桩（Decision Stump）原理、手动计算与PythonJava双代码实战
关键词：机器学习、决策桩、Decision Stump、弱分类器、AdaBoost、手写代码、Python 决策桩、Java 决策桩、集成学习、基学习器 一句话答案：决策桩是仅含一个根节点和两个叶节点的决策树 如果你在搜索：“什么是决策桩（Decision Stump）？”“决策桩和普通决策树有什么区别？”“为什么 AdaBoost 用决策桩？”“如何手写决策桩并用于集成学习？” 决策桩（Decision Stump） 是深度为 1 的决策树：仅基于一个特征的一个阈值进行判断只有 if-else 一条规则输出为常数（分类：+1/-1；回归：均值） 结构示例if (特征_i <= pred[X[:, self.feature_idx] > self.threshold] = -1 return pred# === AdaBoost with Decision (self, X): stump_preds = np.array([stump.alpha * stump.predict(X) for stump in self.stumps])
17020编辑于 2026-03-29 - 来自专栏自学笔记
Decision Tree
Decision Tree就是属于边做学习然后按照条件分的一种。如下图，aggregation model就是是补全了： ? 其实决策树的分类有点像Adaboost的stump分类。但是Adaboost的stump仅仅是按照准确率来了，而decision tree的标准是purity，纯净度。意思就是熵了。 ⑤Decision Tree Heuristics in CART 基本流程： ? ⑦代码实现Decision Tree 包括创建树，预测，可视化树，这篇东西内容不多，代码讲解多。 接下来就是主要创建树的类了： class decision_tree(object): def build_tree(self,data): '''Create decision tree
76030发布于 2018-09-07 - 来自专栏自学笔记
Decision Tree
Decision Tree就是属于边做学习然后按照条件分的一种。如下图，aggregation model就是是补全了： ? 其实决策树的分类有点像Adaboost的stump分类。但是Adaboost的stump仅仅是按照准确率来了，而decision tree的标准是purity，纯净度。意思就是熵了。 ⑤Decision Tree Heuristics in CART 基本流程： ? ⑦代码实现Decision Tree 包括创建树，预测，可视化树，这篇东西内容不多，代码讲解多。 接下来就是主要创建树的类了： class decision_tree(object): def build_tree(self,data): '''Create decision tree
52030发布于 2019-01-23 - 来自专栏红色石头的机器学习之路
中国台湾大学林轩田机器学习技法课程学习笔记9 -- Decision Tree
首先，C&RT分支个数C=2，一般采用上节课介绍过的decision stump的方法进行数据切割。 C&RT中使用纯净度purifying这个概念来选择最好的decision stump。 它每次分支为二，是二叉树结构，采用purify来选择最佳的decision stump来划分，最终得到的叶子（g_t(x)）是常数。 对于numerical features，我们直接使用decision stump进行数值切割；而对于categorical features，我们仍然可以使用decision subset，对不同类别进行 比较起来，虽然C&RT和AdaBoost-Stump都采用decision stump方式进行切割，但是二者在细节上还是有所区别。
97600发布于 2017-12-28 - 来自专栏红色石头的机器学习之路
一文详解决策树算法模型
首先，C&RT分支个数C=2，一般采用上节课介绍过的decision stump的方法进行数据切割。 C&RT中使用纯净度purifying这个概念来选择最好的decision stump。 它每次分支为二，是二叉树结构，采用purify来选择最佳的decision stump来划分，最终得到的叶子（gt(x)）是常数。 对于numerical features，我们直接使用decision stump进行数值切割；而对于categorical features，我们仍然可以使用decision subset，对不同类别进行 比较起来，虽然C&RT和AdaBoost-Stump都采用decision stump方式进行切割，但是二者在细节上还是有所区别。
77110编辑于 2022-01-12 - 来自专栏深度学习与数据挖掘实战
基于PredictionIO的推荐引擎打造，及大规模多标签分类探索
该方法主要是对AdaBoost.MH里的base learners做Factorization，将Decision stump和Hamming tree作为base learner。 通过参考2014年的文献，主要分享了这三个方面的多标签弱分类算法： Decision stump：一个只有一个节点的决策树，只有两个模型参数。 同时期训练过程就是寻找最优的分隔(j, threshold)的过程 Hamming tree：Decision stump作为节点的决策树。 Decision Stump的实现 在具体的实现过程中，白刚展示了Decision Stump的模型效果和训练过程Spark集群负载等数据，分析其中存在的一些问题：首先，它是一个非常弱的二分类模型；其次 ，Decision stump模型训练的数据传输量很大；最后，Tree-based模型，并不适合高维稀疏数据。
72940发布于 2018-11-21 - 来自专栏常用算法专栏
决策Decision Tree简介
决策树（Decision Tree）是一种常用的监督学习算法，它能够从一组无序、无规则的数据中推理出决策规则，并以树形图的结构展示这些规则。决策树模型既可以是二叉树，也可以是非二叉树。 此外，决策树还可以与其他算法结合使用，如随机森林（Random Forest）、梯度提升决策树（Gradient Boosting Decision Tree）等，以提高模型的性能。
36810编辑于 2025-04-05 - 来自专栏Michael阿明学习之路
决策树（Decision Tree，DT）
决策树（decision tree）是一种基本的分类与回归方法。 分类问题中，基于特征对实例进行分类的过程。 优点：模型具有可读性，分类速度快。
2K20发布于 2020-07-13 - 来自专栏人工智能头条
基于PredictionIO的推荐引擎打造，及大规模多标签分类探索
该方法主要是对AdaBoost.MH里的base learners做Factorization，将Decision stump和Hamming tree作为base learner。 通过参考2014年的文献，主要分享了这三个方面的多标签弱分类算法： Decision stump：一个只有一个节点的决策树，只有两个模型参数。 同时期训练过程就是寻找最优的分隔(j, threshold)的过程 Hamming tree：Decision stump作为节点的决策树。 Decision Stump的实现 在具体的实现过程中，白刚展示了Decision Stump的模型效果和训练过程Spark集群负载等数据，分析其中存在的一些问题：首先，它是一个非常弱的二分类模型；其次 ，Decision stump模型训练的数据传输量很大；最后，Tree-based模型，并不适合高维稀疏数据。
1.1K30发布于 2018-06-05 - 来自专栏DeepHub IMBA
7个步骤详解AdaBoost 算法原理和构建流程
这些模型由弱学习器、深度为 1 的简单决策树（即所谓的“decision stumps”，我们将其翻译为决策树桩）表示，本文将。 - sum of the weights of all samples that were misclassified by the decision stub ''' # add "]): df["chosen_stump_incorrect"] = df['stump_1_incorrect_v1'] else: df["chosen_stump_incorrect datas set, 1996. https://archive.ics.uci.edu/ml/datasets/adult (CC BY 4.0) [Wiq20] Wiqaas: Boosting a decision /AdaBoosting_Decision_Tree.ipynb 作者：Dominik Polzer ---- MORE kaggle比赛交流和组队 加我的微信，邀你进群 喜欢就关注一下吧： 点个
56820编辑于 2022-11-11 - 来自专栏生物信息学、python、R、linux
决策树（decision tree）
决策树（decision tree）的概念 决策树也是机器学习中的一个重要算法，但是我们可能平时在决策的时候就常常用到，比如以下天气和怎么出行的问题： ?
62720发布于 2020-08-25 - 来自专栏自学笔记
Machine Learning in Action:Decision Tree
decision tree的算法可以读取数据集合，可以得到数据中所隐含的知识信息，因此决策树可以使用不熟悉的数据集合，并从中提取一系列规则。
49110发布于 2019-03-19 - 来自专栏产品经理的人工智能学习库
决策树 – Decision tree
决策树是一种解决分类问题的算法，想要了解分类问题和回归问题，可以看这里《监督学习的2个任务：回归、分类》。
1.1K11发布于 2019-12-18 - 来自专栏红色石头的机器学习之路
【完结】林轩田机器学习技法终章
我们介绍过的kernel有：Polynormial Kernel、Gaussian Kernel、Stump Kernel等。 我们介绍过的分类模型（hypothesis）包括：Decision Stump、Decision Tree和Gaussian RBF等。 如果所有的g是未知的，可以使用例如Bagging、AdaBoost和Decision Tree的方法来建立模型。除此之外，还有probabilistic SVM模型。 我们介绍过的维度压缩模型包括：Decision Stump、Random Forest Tree Branching、Autoencoder、PCA和Matrix Factorization等。 例如decision tree。
36120编辑于 2022-01-12 - 来自专栏数据派THU
7个步骤详解AdaBoost 算法原理和构建流程（附代码）
这些模型由弱学习器、深度为 1 的简单决策树（即所谓的“decision stumps”，我们将其翻译为决策树桩）表示。 - sum of the weights of all samples that were misclassified by the decision stub ''' # add column "]): df["chosen_stump_incorrect"] = df['stump_1_incorrect_v1'] else: df["chosen_stump_incorrect datas set, 1996. https://archive.ics.uci.edu/ml/datasets/adult (CC BY 4.0) [Wiq20] Wiqaas: Boosting a decision /AdaBoosting_Decision_Tree.ipynb 作者：Dominik Polzer 编辑：黄继彦 校对：林亦霖
1.3K20编辑于 2022-08-29 - 来自专栏机器学习实践二三事
GBDT(Gradient Boosting Decision Tree)
本文介绍了GBDT（Gradient Boosting Decision Tree）算法的原理、实现和应用。主要包括了梯度提升决策树的基本思想、实现方法、优化策略和实际应用案例。
3.4K70发布于 2018-01-02 - 来自专栏红色石头的机器学习之路
中国台湾大学林轩田机器学习技法课程学习笔记16（完结） -- Finale
我们介绍过的kernel有：Polynormial Kernel、Gaussian Kernel、Stump Kernel等。 我们介绍过的分类模型（hypothesis）包括：Decision Stump、Decision Tree和Gaussian RBF等。 如果所有的g是未知的，可以使用例如Bagging、AdaBoost和Decision Tree的方法来建立模型。除此之外，还有probabilistic SVM模型。 我们介绍过的维度压缩模型包括：Decision Stump、Random Forest Tree Branching、Autoencoder、PCA和Matrix Factorization等。 例如decision tree。
84400发布于 2017-12-28 - 来自专栏hsdoifh biuwedsy
Classification and regression techniques: decision tree and knn
Lectures 12 and 13: Classification and regression techniques: decision tree and k-nearest neighbor -understand -Understand the key steps in building a decision tree. Decision Tree Classification Advantage: Decision Trees are easy to explain. Disadvantages: There is a high probability of overfitting in Decision Tree. -understand the use of entropy as a node impurity measure for decision tree node splitting.
65220发布于 2021-05-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号